Tensor-based Nonlinear Classifier for High-Order Data Analysis

In this paper we propose a tensor-based nonlinear model for high-order data classification. The advantages of the proposed scheme are that (i) it significantly reduces the number of weight parameters, and hence of required training samples, and (ii) it retains the spatial structure of the input samples. The proposed model, called \textit{Rank}-1 FNN, is based on a modification of a feedforward neural network (FNN), such that its weights satisfy the {\it rank}-1 canonical decomposition. We also introduce a new learning algorithm to train the model, and we evaluate the \textit{Rank}-1 FNN on third-order hyperspectral data. Experimental results and comparisons indicate that the proposed model outperforms state of the art classification methods, including deep learning based ones, especially in cases with small numbers of available training samples.Comment: To appear in IEEE ICASSP 2018. arXiv admin note: text overlap with arXiv:1709.0816

Automatic 3D modeling and reconstruction of cultural heritage sites from Twitter images

This paper presents an approach for leveraging the abundance of images posted on social media like Twitter for large scale 3D reconstruction of cultural heritage landmarks. Twitter allows users to post short messages, including photos, describing a plethora of activities or events, e.g., tweets are used by travelers on vacation, capturing images from various cultural heritage assets. As such, a great number of images are available online, able to drive a successful 3D reconstruction process. However, reconstruction of any asset, based on images mined from Twitter, presents several challenges. There are three main steps that have to be considered: (i) tweets’ content identification, (ii) image retrieval and filtering, and (iii) 3D reconstruction. The proposed approach first extracts key events from unstructured tweet messages and then identifies cultural activities and landmarks. The second stage is the application of a content-based filtering method so that only a small but representative portion of cultural images are selected to support fast 3D reconstruction. The proposed methods are experimentally evaluated using real-world data and comparisons verify the effectiveness of the proposed scheme.peer-reviewe

Rank-R FNN : a tensor-based learning model for high-order data classification

An increasing number of emerging applications in data science and engineering are based on multidimensional and structurally rich data. The irregularities, however, of high-dimensional data often compromise the effectiveness of standard machine learning algorithms. We hereby propose the Rank- R Feedforward Neural Network (FNN), a tensor-based nonlinear learning model that imposes Canonical/Polyadic decomposition on its parameters, thereby offering two core advantages compared to typical machine learning methods. First, it handles inputs as multilinear arrays, bypassing the need for vectorization, and can thus fully exploit the structural information along every data dimension. Moreover, the number of the model's trainable parameters is substantially reduced, making it very efficient for small sample setting problems. We establish the universal approximation and learnability properties of Rank- R FNN, and we validate its performance on real-world hyperspectral datasets. Experimental evaluations show that Rank- R FNN is a computationally inexpensive alternative of ordinary FNN that achieves state-of-the-art performance on higher-order tensor data.peer-reviewe

Stacked Autoencoders for Outlier Detection in Over-the-Horizon Radar Signals

Detection of outliers in radar signals is a considerable challenge in maritime surveillance applications. High-Frequency Surface-Wave (HFSW) radars have attracted significant interest as potential tools for long-range target identification and outlier detection at over-the-horizon (OTH) distances. However, a number of disadvantages, such as their low spatial resolution and presence of clutter, have a negative impact on their accuracy. In this paper, we explore the applicability of deep learning techniques for detecting deviations from the norm in behavioral patterns of vessels (outliers) as they are tracked from an OTH radar. The proposed methodology exploits the nonlinear mapping capabilities of deep stacked autoencoders in combination with density-based clustering. A comparative experimental evaluation of the approach shows promising results in terms of the proposed methodology’s performance

Novel computer vision and machine learning techniques for behavior recognition from video and adaptation to a cloud computing environment

This thesis aims at proposing novel computer vision and machine learning techniques for human behavior recognition from video, emphasizing on activities forming workflows. The problem involves significant challenges, such as occlusions, frequent illumination changes and outliers, whereas the visually complex environment of our use case induces additional difficulties. Typical object based methods that rely on detection or tracking tend to fail because of the high complexity of the observed scenes. In order to bypass these error-prone stages, we propose the extraction of holistic features directly on the image level for scene representation. Furthermore, we examine the applicability of fused schemes of the employed classifiers (hidden Markov models) in an endeavor to exploit redundancies from multiple camera streams so as to solve occlusions, whereas we also scrutinize the effectiveness of the multivariate Student-t distribution as observation likelihood (instead of the Gaussian) for higher tolerance to outliers. In the sequel, a series of new techniques for online behavior recognition are proposed. The first one is based on sequence segmentation, classification of the segments through HMM classifiers and incorporation of a priori knowledge via a genetic algorithm (GA-HMM). The second method is based on a combination of bayesian filtering and HMM and does not require a separate segmentation algorithm, while the third one focuses on concurrent activity recognition following a top-down event-driven Region of Interest based approach. Another contribution of this thesis lies in the introduction of the concept of Evaluative Rectification, which exploits an expert user’s feedback regarding the correctness of the classification results of the employed recognition methods and follows a feedforward and adaptive neural network based approach in order to improve future results in the direction of decreasing the overall classification error. Finally, we examine the possibility of exploiting the benefits involved in cloud computing and propose a cloud platform endowed with modern workflow management mechanisms for an effective and efficient application of the proposed methods in real-world large-scale installations, where online and real-time requirements are posed.Αντικείμενο της διατριβής είναι η αναγνώριση ανθρώπινης συμπεριφοράς από ακολουθίες βίντεο με χρήση καινοτόμων τεχνικών όρασης υπολογιστών και μηχανικής μάθησης, με έμφαση σε δραστηριότητες οργανωμένες σε ροές εργασίας. Το πρόβλημα παρουσιάζει μια σειρά από σοβαρές δυσκολίες, όπως επικαλύψεις, συχνές αλλαγές φωτισμού και έκτοπα, ενώ τα οπτικώς σύνθετα περιβάλλοντα που εξετάζονται δημιουργούν πρόσθετες προκλήσεις. Οι τυπικές μέθοδοι που βασίζονται σε ανίχνευση ή ιχνηλάτηση αντικειμένων τείνουν να αποτυγχάνουν εξαιτίας της μεγάλης πολυπλοκότητας των αναπαριστώμενων σκηνών. Για να παρακαμφθούν αυτά τα στάδια, προτείνεται η εξαγωγή ολιστικών χαρακτηριστικών για την αναπαράσταση των εικόνων. Επίσης, εξετάζεται η δυνατότητα αξιοποίησης πληροφορίας από πολλαπλά ρεύματα παρατηρήσεων (κάμερες) μέσω τεχνικών σύμμιξης (fusion) των χρησιμοποιούμενων hidden Markov models (HMM) για την αντιμετώπιση των επικαλύψεων, ενώ ερευνάται η αποτελεσματικότητα της χρήσης της κατανομής Student-t αντί της Gaussian ως κατανομής παρατήρησης για μεγαλύτερη ευρωστία σε έκτοπα. Για το ερευνητικά και πρακτικά σημαντικό πρόβλημα της online αναγνώρισης συμπεριφοράς, προτείνεται μια σειρά από νέες τεχνικές με διαφορετική στόχευση. Η πρώτη στηρίζεται σε κατάτμηση των ακολουθιών, ταξινόμηση των προκυπτουσών υποακολουθιών με χρήση HMM και ενσωμάτωση a priori γνώσης μέσω γενετικού αλγορίθμου (GA-HMM). Η δεύτερη βασίζεται σε ένα συνδυασμό μπεϋζιανού φίλτρου και HMM και δεν απαιτεί ξεχωριστό αλγόριθμο κατάτμησης, ενώ η τρίτη αντιμετωπίζει το πρόβλημα ταυτόχρονων ή χρονικά επικαλυπτόμενων δραστηριοτήτων μέσω ανίχνευσης κίνησης σε περιοχές ενδιαφέροντος. Μια άλλη συνεισφορά της διατριβής έγκειται στην εισαγωγή τής έννοιας της Αξιολογικής Διόρθωσης, η οποία, αξιοποιώντας την ανατροφοδότηση που δίνεται από έναν εξειδικευμένο χρήστη ως προς την ορθότητα των προβλέψεων των αλγορίθμων αναγνώρισης, ακολουθεί μια προσέγγιση βασισμένη σε feedforward αλλά και προσαρμοστικά νευρωνικά δίκτυα με σκοπό τη μείωση του συνολικού σφάλματος ταξινόμησης και τη βελτίωση των μελλοντικών αποτελεσμάτων. Τέλος, εξετάζονται οι δυνατότητες αξιοποίησης των πλεονεκτημάτων του υπολογιστικού νέφους και προτείνεται μια αρχιτεκτονική βασισμένη σε πλατφόρμα νέφους με σκοπό την αποδοτικότερη και αποτελεσματικότερη εφαρμογή των προτεινόμενων μεθόδων σε πραγματικές εγκαταστάσεις υψηλής κλίμακας με απαιτήσεις online λειτουργίας σε πραγματικό χρόνο

ReNFuzz-LF: A Recurrent Neurofuzzy System for Short-Term Load Forecasting

A neurofuzzy system is proposed for short-term electric load forecasting. The fuzzy rule base of ReNFuzz-LF consists of rules with dynamic consequent parts that are small-scale recurrent neural networks with one hidden layer, whose neurons have local output feedback. The particular representation maintains the local learning nature of the typical static fuzzy model, since the dynamic consequent parts of the fuzzy rules can be considered as subsystems operating at the subspaces defined by the fuzzy premise parts, and they are interconnected through the defuzzification part. The Greek power system is examined, and hourly based predictions are extracted for the whole year. The recurrent nature of the forecaster leads to the use of a minimal set of inputs, since the temporal relations of the electric load time-series are identified without any prior knowledge of the appropriate past load values being necessary. An extensive simulation analysis is conducted, and the forecaster’s performance is evaluated using appropriate metrics (APE, RMSE, forecast error duration curve). ReNFuzz-LF performs efficiently, attaining an average percentage error of 1.35% and an average yearly absolute error of 86.3 MW. Finally, the performance of the proposed forecaster is compared to a series of Computational Intelligence based models, such that the learning characteristics of ReNFuzz-LF are highlighted

ReNFuzz-LF: A Recurrent Neurofuzzy System for Short-Term Load Forecasting

A neurofuzzy system is proposed for short-term electric load forecasting. The fuzzy rule base of ReNFuzz-LF consists of rules with dynamic consequent parts that are small-scale recurrent neural networks with one hidden layer, whose neurons have local output feedback. The particular representation maintains the local learning nature of the typical static fuzzy model, since the dynamic consequent parts of the fuzzy rules can be considered as subsystems operating at the subspaces defined by the fuzzy premise parts, and they are interconnected through the defuzzification part. The Greek power system is examined, and hourly based predictions are extracted for the whole year. The recurrent nature of the forecaster leads to the use of a minimal set of inputs, since the temporal relations of the electric load time-series are identified without any prior knowledge of the appropriate past load values being necessary. An extensive simulation analysis is conducted, and the forecaster’s performance is evaluated using appropriate metrics (APE, RMSE, forecast error duration curve). ReNFuzz-LF performs efficiently, attaining an average percentage error of 1.35% and an average yearly absolute error of 86.3 MW. Finally, the performance of the proposed forecaster is compared to a series of Computational Intelligence based models, such that the learning characteristics of ReNFuzz-LF are highlighted

Novel computer vision and machine learning techniques for behavior recognition from video and adaptation to a cloud computing environment

205 σ.Αντικείμενο της διατριβής είναι η αναγνώριση ανθρώπινης συμπεριφοράς από ακολουθίες βίντεο με χρήση καινοτόμων τεχνικών όρασης υπολογιστών και μηχανικής μάθησης, με έμφαση σε δραστηριότητες οργανωμένες σε ροές εργασίας. Το πρόβλημα παρουσιάζει μια σειρά από σοβαρές δυσκολίες, όπως επικαλύψεις, συχνές αλλαγές φωτισμού και έκτοπα, ενώ τα οπτικώς σύνθετα περιβάλλοντα που εξετάζονται δημιουργούν πρόσθετες προκλήσεις. Οι τυπικές μέθοδοι που βασίζονται σε ανίχνευση ή ιχνηλάτηση αντικειμένων τείνουν να αποτυγχάνουν εξαιτίας της μεγάλης πολυπλοκότητας των αναπαριστώμενων σκηνών. Για να παρακαμφθούν αυτά τα στάδια, προτείνεται η εξαγωγή ολιστικών χαρακτηριστικών για την αναπαράσταση των εικόνων. Επίσης, εξετάζεται η δυνατότητα αξιοποίησης πληροφορίας από πολλαπλά ρεύματα παρατηρήσεων (κάμερες) μέσω τεχνικών σύμμιξης (fusion) των χρησιμοποιούμενων hidden Markov models (HMM) για την αντιμετώπιση των επικαλύψεων, ενώ ερευνάται η αποτελεσματικότητα της χρήσης της κατανομής Student-t αντί της Gaussian ως κατανομής παρατήρησης για μεγαλύτερη ευρωστία σε έκτοπα. Για το ερευνητικά και πρακτικά σημαντικό πρόβλημα της online αναγνώρισης συμπεριφοράς, προτείνεται μια σειρά από νέες τεχνικές με διαφορετική στόχευση. Η πρώτη στηρίζεται σε κατάτμηση των ακολουθιών, ταξινόμηση των προκυπτουσών υποακολουθιών με χρήση HMM και ενσωμάτωση a priori γνώσης μέσω γενετικού αλγορίθμου (GA-HMM). Η δεύτερη βασίζεται σε ένα συνδυασμό μπεϋζιανού φίλτρου και HMM και δεν απαιτεί ξεχωριστό αλγόριθμο κατάτμησης, ενώ η τρίτη αντιμετωπίζει το πρόβλημα ταυτόχρονων ή χρονικά επικαλυπτόμενων δραστηριοτήτων μέσω ανίχνευσης κίνησης σε περιοχές ενδιαφέροντος. Μια άλλη συνεισφορά της διατριβής έγκειται στην εισαγωγή τής έννοιας της Αξιολογικής Διόρθωσης, η οποία, αξιοποιώντας την ανατροφοδότηση που δίνεται από έναν εξειδικευμένο χρήστη ως προς την ορθότητα των προβλέψεων των αλγορίθμων αναγνώρισης, ακολουθεί μια προσέγγιση βασισμένη σε feedforward αλλά και προσαρμοστικά νευρωνικά δίκτυα με σκοπό τη μείωση του συνολικού σφάλματος ταξινόμησης και τη βελτίωση των μελλοντικών αποτελεσμάτων. Τέλος, εξετάζονται οι δυνατότητες αξιοποίησης των πλεονεκτημάτων του υπολογιστικού νέφους και προτείνεται μια αρχιτεκτονική βασισμένη σε πλατφόρμα νέφους με σκοπό την αποδοτικότερη και αποτελεσματικότερη εφαρμογή των προτεινόμενων μεθόδων σε πραγματικές εγκαταστάσεις υψηλής κλίμακας με απαιτήσεις online λειτουργίας σε πραγματικό χρόνο.This thesis aims at proposing novel computer vision and machine learning techniques for human behavior recognition from video, emphasizing on activities forming workflows. The problem involves significant challenges, such as occlusions, frequent illumination changes and outliers, whereas the visually complex environment of our use case induces additional difficulties. Typical object based methods that rely on detection or tracking tend to fail because of the high complexity of the observed scenes. In order to bypass these error-prone stages, we propose the extraction of holistic features directly on the image level for scene representation. Furthermore, we examine the applicability of fused schemes of the employed classifiers (hidden Markov models) in an endeavor to exploit redundancies from multiple camera streams so as to solve occlusions, whereas we also scrutinize the effectiveness of the multivariate Student-t distribution as observation likelihood (instead of the Gaussian) for higher tolerance to outliers. In the sequel, a series of new techniques for online behavior recognition are proposed. The first one is based on sequence segmentation, classification of the segments through HMM classifiers and incorporation of a priori knowledge via a genetic algorithm (GA-HMM). The second method is based on a combination of bayesian filtering and HMM and does not require a separate segmentation algorithm, while the third one focuses on concurrent activity recognition following a top-down event-driven Region of Interest based approach. Another contribution of this thesis lies in the introduction of the concept of Evaluative Rectification, which exploits an expert user’s feedback regarding the correctness of the classification results of the employed recognition methods and follows a feedforward and adaptive neural network based approach in order to improve future results in the direction of decreasing the overall classification error. Finally, we examine the possibility of exploiting the benefits involved in cloud computing and propose a cloud platform endowed with modern workflow management mechanisms for an effective and efficient application of the proposed methods in real-world large-scale installations, where online and real-time requirements are posed.Αθανάσιος Σ. Βουλόδημο